事件摄像头是一种新兴的生物启发的视觉传感器，每像素亮度不同步地变化。它具有高动态范围，高速响应和低功率预算的明显优势，使其能够在不受控制的环境中最好地捕获本地动作。这激发了我们释放事件摄像机进行人姿势估计的潜力，因为很少探索人类姿势估计。但是，由于新型范式从传统的基于框架的摄像机转变，时间间隔中的事件信号包含非常有限的信息，因为事件摄像机只能捕获移动的身体部位并忽略那些静态的身体部位，从而导致某些部位不完整甚至在时间间隔中消失。本文提出了一种新型的密集连接的复发架构，以解决不完整信息的问题。通过这种经常性的体系结构，我们可以明确地对跨时间步骤的顺序几何一致性进行明确模拟，从而从以前的帧中积累信息以恢复整个人体，从而从事件数据中获得稳定且准确的人类姿势估计。此外，为了更好地评估我们的模型，我们收集了一个基于人类姿势注释的大型多模式事件数据集，该数据集是迄今为止我们所知的最具挑战性的数据集。两个公共数据集和我们自己的数据集的实验结果证明了我们方法的有效性和强度。代码可以在线提供，以促进未来的研究。
translated by 谷歌翻译
2021-11-05
本文提供了统一的观点来解释不同的对抗攻击和防御方法，\ emph {i.e.} DNN的输入变量之间的多阶交互的视图。根据多阶互动，我们发现对抗性攻击主要影响愚弄DNN的高阶相互作用。此外，我们发现前列培训的DNN的鲁棒性来自特定于类别的低阶交互。我们的研究结果提供了统一对抗的扰动和鲁棒性的潜在方法，可以以原则方式解释现有的防御方法。此外，我们的调查结果还修订了先前的不准确了解对抗普遍学习特征的偏差。
translated by 谷歌翻译
2021-03-12
本文提供了一个统一的观点来解释不同的逆势攻击和防御方法，即DNN的输入变量之间的多阶交互的视图。根据多阶互动，我们发现对抗性攻击主要影响愚弄DNN的高阶相互作用。此外，我们发现前列培训的DNN的鲁棒性来自特定于类别的低阶交互。我们的研究结果提供了统一对抗的扰动和鲁棒性的潜在方法，可以以原则方式解释现有的防御方法。此外，我们的调查结果还修订了先前的不准确了解对抗普遍学习特征的偏差。
translated by 谷歌翻译
One of the major errors affecting GNSS signals in urban canyons is GNSS multipath error. In this work, we develop a Gazebo plugin which utilizes a ray tracing technique to account for multipath effects in a virtual urban canyon environment using virtual satellites. This software plugin balances accuracy and computational complexity to run the simulation in real-time for both software-in-the-loop (SITL) and hardware-in-the-loop (HITL) testing. We also construct a 3D virtual environment of Hong Kong and compare the results from our plugin with the GNSS data in the publicly available Urban-Nav dataset, to validate the efficacy of the proposed Gazebo Plugin. The plugin is openly available to all the researchers in the robotics community. https://github.com/kpant14/multipath_sim
translated by 谷歌翻译
As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.
translated by 谷歌翻译
主动学习是自动化机器学习系统的重要技术。与旨在自动化神经网络体系结构设计的神经体系结构搜索（NAS）相反，主动学习旨在自动化培训数据选择。对于训练长尾巴的任务尤其重要，在该任务中，在该任务中，稀疏的样品分布稀疏。主动学习通过逐步培训模型，以有效的数据选择来减轻昂贵的数据注释问题。它没有注释所有未标记的样本，而是迭代选择并注释最有价值的样本。主动学习在图像分类中很受欢迎，但在对象检测中尚未得到充分探索。当前的大多数对象检测方法都通过不同的设置进行评估，因此很难公平地比较其性能。为了促进该领域的研究，本文贡献了一个活跃的学习基准框架，称为Albench，用于评估对象检测中的主动学习。该Albench框架在自动深层模型训练系统上开发，易于使用，与不同的主动学习算法兼容，并确保使用相同的培训和测试协议。我们希望这种自动化的基准系统能够帮助研究人员轻松复制文学的表现，并与先前的艺术进行客观的比较。该代码将通过GitHub发布。
translated by 谷歌翻译
变压器已成为自然兰格格处理和视觉中许多任务的首选模型。在更有效地进行培训和部署变压器的最新努力已经确定了许多策略，以近似自我发挥作用矩阵，这是变压器体系结构中的关键模块。有效的想法包括各种预先指定的稀疏模式，低级基础扩展及其组合。在本文中，我们重新访问了小波等经典多分辨率分析（MRA）概念，在这种情况下，在这种情况下的潜在价值迄今仍未被逐渐解散。我们表明，基于现代硬件和实施挑战所告知的经验反馈和设计选择的简单近似值，最终在大多数感兴趣的标准中产生了基于MRA的自我注意力方法，具有出色的性能。我们进行了一系列广泛的实验，并证明该多分辨率方案的表现优于最有效的自我注意力建议，并且对短序列和长序列都有利。代码可在\ url {https://github.com/mlpen/mra-witchention}中获得。
translated by 谷歌翻译
及时调整是将预训练模型调整到下游任务的极其有效的工具。但是，基于标准及时的方法主要考虑下游任务的足够数据的情况。目前尚不清楚是否可以将优势传输到几杆式制度，在每个下游任务中只有有限的数据。尽管有些作品证明了在几次弹奏设置下及时调整的潜力，但通过搜索离散提示或使用有限数据调整软提示的主流方法仍然非常具有挑战性。通过广泛的实证研究，我们发现迅速调整和完全微调之间的学习差距仍然存在差距。为了弥合差距，我们提出了一个新的及时调整框架，称为软模板调整（STT）。 STT结合了手册和自动提示，并将下游分类任务视为掩盖语言建模任务。对不同设置的全面评估表明，STT可以在不引入其他参数的情况下缩小微调和基于及时的方法之间的差距。值得注意的是，它甚至可以胜过情感分类任务的时间和资源消耗的微调方法。
translated by 谷歌翻译
基于变压器的模型广泛用于自然语言处理（NLP）。变压器模型的核心是自我关注机制，它捕获了输入序列中的令牌对的相互作用，并在序列长度上逐步取决于逐行。在更长的序列上培训此类模型是昂贵的。在本文中，我们表明，基于局部敏感散列（LSH）的伯努利采样注意机制降低了这种模型到线性的二次复杂性。我们通过考虑自我关注作为与Bernoulli随机变量相关的单独令牌的总和来绕过二次成本，原则上可以通过单个哈希进行一次（尽管在实践中，这个数字可能是一个小常数）。这导致了有效的采样方案来估算依赖于LSH的特定修改的自我关注（以便在GPU架构上进行部署）。我们在标准512序列长度上评估了胶水基准的算法，在那里我们看到了相对于标准预磨削变压器的良好性能。在远程竞技场（LRA）基准中，为了评估长序列的性能，我们的方法实现了与Softmax自我关注的结果一致，但具有相当大的加速和内存节省，并且通常优于其他有效的自我关注方法。我们的代码可以在https://github.com/mlpen/yoso获得
translated by 谷歌翻译
使用高维操作空间来控制机器人操纵器来实现灵巧的任务是一个具有挑战性的问题。受到人类操纵的启发，研究人员研究了机器人手的产生和使用姿势协同作用来完成操纵任务，从而利用了协同作用空间的较低维度。但是，其中许多作品需要从现有控制器中获得的预收集数据，以便通过降低维度来得出这样的子空间。在本文中，我们提出了一个框架，该框架同时发现了协同空间和多任务策略，该策略在这个低维操作空间上运作以完成多种操纵任务。我们证明，我们的端到端方法能够使用少量协同作用执行多个任务，并且优于将维度降低降低到独立收集的数据的顺序方法。我们还表明，使用多个任务得出协同作用可以导致一个子空间，该子空间使机器人能够有效地学习新的操作任务以及与新对象的交互。
translated by 谷歌翻译